Openai признава, че новите модели увеличават риска от злоупотреба за създаване на биологични земедели

Последните модели на Openai „смислено“ са увеличили риска, че изкуственият интелект ще бъде злоупотребяван за създаване на биологични оръжия, признава компанията.

Базираната в Сан Франциско група обяви новите си модели, известни като O1, в четвъртък, като обяви новите си способности да разсъждават, да решават проблеми с математиката и да отговарят на научните изследователски въпроси. Тези постижения се разглеждат като решаващ пробив в усилията за създаване на изкуствен общ интелект-машини с познание на ниво човешко.

Системната карта на Openai, инструмент за обяснение как AI работи, заяви, че новите модели имат „среден риск“ за проблеми, свързани с химически, биологични, радиологични и ядрени (CBRN) оръжия - най -високият риск от този риск, който Openai някога е давал за своите модели. Компанията заяви, че това означава, че технологията "смислено е подобрила" способността на експертите да създават биологични източници.

AI софтуер с по-напреднали възможности, като например способността за извършване на стъпка по стъпка разсъждения, представлява повишен риск от злоупотреба в ръцете на лоши актьори, според експерти.

Йошуа Бенгио, професор по компютърни науки в Университета в Монреал и един от водещите световни АИ учени, заяви, че ако Openai сега представлява „среден риск“ за химическите и биологичните оръжия, „това само засилва значението и спешността“ на законодателството, което Като горещо обсъждан законопроект в Калифорния за регулиране на сектора.

Мярката - известна като SB 1047 - ще изисква производителите на най -скъпите модели да предприемат стъпки, за да сведат до минимум The Риск техните модели са били използвани за разработване на биологични източници. Тъй като „Frontier“ AI модели напредват към AGI, „рисковете ще продължат да се увеличават, ако липсват правилните предпазители“, каза Бенгио. „Подобряването на способността на AI да разсъждава и да използва това умение за измама е особено опасно.“

Тези предупреждения дойдоха като технологични компании, включително Google, Meta и Anthropic, се състезават за изграждане и подобряване на сложните AI системи, тъй като като системи за AI, тъй като като системи за AI, тъй като като системи за AI, тъй като като системи за AI, тъй като като системи за AI, тъй като Meta и Anthropic, както и системите на AI, тъй като Meta и Anthropic се състезават и подобряват сложните AI системи, тъй като Meta и Anthropic, както и системите на AI, тъй като Meta и Anthropic, както и системите на AI, тъй като Meta и Anthropic, тъй като Meta и Anthropi Те се стремят да създадат софтуер, който може да действа като „агенти“, които помагат на хората при изпълнение на задачи и навигиране в живота им.

Тези агенти на AI също се разглеждат като потенциални производители на пари за компании, които се борят с огромните разходи, необходими за, необходими за необходимите за разходи, необходими за необходимите за разходи, необходими за необходимите за разходи, необходими за необходимите за разходи, необходими за разходи Тренирайте и управлявайте нови модели.

Мира Мурати, главен технологичен директор на Openai, каза пред „Financial Times“, че компанията е особено „предпазлива“ с това как е това, че е това, че е това, че е това, как е това Предаване на O1 пред обществеността, поради усъвършенстваните си възможности, въпреки че продуктът ще бъде широко достъпен чрез платените абонати на Chatgpt и до програмистите чрез API.

Тя добави, че моделът е бил тестван от така наречените червени-Teamers-експерти в различни научни области, които са се опитали да нарушат модела-да прокарат нейните граници. Мурати каза, че настоящите модели се представят далеч по -добре на общите показатели за безопасност от предишните.

Openai заяви, че моделът за визуализация „е безопасен за разгръщане в [собствените си политики и] оценява„ среден риск “в [неговия] предпазлив мащаб, тъй като не улеснява увеличените рискове отвъд това, което вече е възможно със съществуващия Ресурси ”.

Допълнително отчитане от Джордж Хамънд в Сан Франциско

Последвайте ни в